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® Precede et dispositif de traitement d'Images pour construire una image a partir d*lmages 
adjacentes. 
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@ L'invention concerne un proc^d^ de traitement 
d'images, pour construire une image dite cible (lo), ^ 
partir d'images adjacentes, de cadrage fixe, dites 
images sources (11 ....U-Jn). ayant des points de fuite 
sensiblement confondus. Ce proc6de comprend des 
etapes de ; numerisation des images ; determination, 
pour un des pixels de I'image cible (lo). de fadresse 
(Aq) d'un point dit correspondant, dans une image 
source (Ij) parmi toutes les images sources ; deter- 
mination de la valour (F) de la luminance en ce point 
correspondant ; attribution au pixel de depart dans V 
image cible (lo) de (a valeur de luminance (F) de ce 
pixel correspondant ; et repetition de ces etapes 
pour chacun des pixels do Timage cible (lo). 

L'invention concerne aussi un dispositif mettant 
en oeuvre ce precede et comprenant un systfeme de 
n cameras reelles fixes (Cl...Cn) qui fournissent n 
images sources (11, ..In) adjacentes couvrant un 
champ de vue de grand angle, et qui ont des points 
de fuite (P) communs ; et un systeme de construc- 
tion d'image (100) simulant une camera dite virtuelle 
(Co), mobile, pour fournir une sous-image dite cible 



(lo). du champ de vue de grand angle, et construite 
h partir des images sources de m§me point de fuite 
(P). 

Application : Dispositifs de surveillance. 
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L'Invention concerne un proc^cl§ de traitement 
d'images, pour construire une image dite cible, k 
partir d'images adjacentes, de cadrage fixe, dites 
images sources, lesdites images cible el source 
ayant des points de fuite sensiblement confondus. 

L'invention concerne egalement un dispositif 
de traitement d'images comprenant : 

- un systeme de n cameras reelles fixes, dls- 
posees de maniere a ce que leurs champs 
de vue individuels fusionnent pour former un 
seul champ de vue de grand angle pour 
('observation d'une scene panoramique, 

- un systeme de construction d'image simulant 
une camera dite virtuelle, mobile, balayant 
continuement la scene panoramique pour en 
fournir une sous-image dite cible, correspon- 
dant a une section arbitraire du champ de 
vue de grand angle, et construite a partir des 
images sources adjacentes fournies par les n 
cameras reelles, cette camera virtuelle ayant 
un point de fuite confondu avec, ou proche 
de celui des cameras reelles. 

L'invention trouve son application dans le do- 
maine de la telesurveillance, ou blen dans le do- 
maine de la television, lorsque des prises de vue 
couvrant des grands champs sont necessaires par 
exemple dans le cas d'enregistrement de scenes 
de manifestations sportives. L'invention trouve aus- 
si son application dans le domaine de la construc- 
tion automobile pour realiser des retroviseurs peri- 
pheriques et panoramiques sans angle mort. 

Un dispositif de traitement d'image est deja 
connu de la demande de brevet W092-14341. Ce 
document decrit un systeme de traitement d'image 
applique a la television. Ce dispositif comprend 
une station emettrice inclant une pluralite de came- 
ras fixes arrangees de maniere adjacente pour que 
leurs champs de vue fusionnent et ferment un 
champ de vue de grand angle. Ce systeme com- 
prend aussi une station de traitemnt incluant des 
moyens pour generer un signal vid^o composite de 
la totalite de I'image correspondant au champ de 
vue de grand angle, et des moyens pour selection- 
ner une sous-image de cette image composite. Ce 
systeme comprend enfin des moyens, c'est-a-dire 
un moniteur, pour afficher cette sous-image. Cette 
sous-image correspond a un champ de vue d'angle 
inferieur a celui de Timage composite dit sous- 
section du champ de vue de grand angle. 

Ce dispositif de traitement d'image est applica- 
ble uniquement aux systfemes de t^l^vision classi- 
ques, ou I'image est form§e au moyen d'un fais- 
ceau de balayage ligne apres iigne. 

La station de traitement permet k un utilisateur 
d'operer lui-meme la selection de la sous-section 
du champ de vue de grand angle. La sous-image 
correspondante a la meme dimension que I'image 
fournie par une camera individuelle. L'utilisateur 
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s^lectionne cette sous-image en faisant varier le 
point de depart du balayage vis-a-vis de Timage 
composite correspondant au champ de vue de 
grand angle. Le champ de vue de grand angle a un 

5 axe paraltele au balayage video, d'ou il resuite que 
le point de depart du balayage vid^o de la sous- 
image peut etre deplace arbitrairement et continue- 
ment parallelement a cet axe. 

Eventuellement, Tangle du champ de vue au- 

10 quel la sous-image correspond peut §tre inferieur a 
celui d'une camera reelle. Mais la localisation de la 
sous-image n'inclut pas de deplacement perpendi- 
culairement au balayage ; sa localisation inclut 
seulement des deplacements parallelement a ce 

IS balayage. Et la formation de cette sous-image n'in- 
clut pas d'effet de zoom vis-a-vis de I'image com- 
posite, c'est-a-dire de changement de focale de la 
sous-image vis-a-vis de la focale des cameras de 
prise de vue. 

20 Done la station de traitement d'image com- 

prend des moyens pour construire ligne apres li- 
gne la sous-image video selectionnee. Ces moyens 
incluent essentiellement un circuit de contrdle de la 
synchronisation des signaux vld^o des differentes 

25 cameras. 

La presente invention a pour but de fournir un 
dispositif capable de simuler une camera mobile, 
balayant le champ de vue de grand angle couvert 
par les n cameras fixes dont les champs de vue 

30 fusionnent, 

Le but de la presente invention est tout parti- 
culierement de fournir un tel dispositif simulant une 
camera munie de toutes les facilites que pourraient 
avoir une camera mobile existant reellement : 

35 c'est-a-dire a partir d'un observateur qui est fixe, 
des possibilit^s de deplacements angulaires hori- 
zontaux vers la gauche ou la droite d'une sc§ne 
panoramique a observer ou h surveiller. des possi- 
bilites de deplacements angulaires verticaux vers le 

40 haut ou vers le bas de cette sc§ne, des possibilites 
de rotation, et en outre des possibilites de zoom 
sur une partie de la surface de cette scene. 

Ce but est atteint en mettant en oeuvre un 
precede de traitement d'images, pour construire 

45 une image dite cible, k partir d'images adjacentes, 
de cadrage fixe, dites images sources, lesdites 
images cible et source ayant des points de fuite 
sensiblement confondus, caracterise en ce qu'il 
comprend des etapes de : 

50 - numerisation des images, 

- determination, pour un des pixels de rimage 
cible, de Tadresse d'un point dit correspon- 
dant, dans une image source parmi toutes les 
images sources, 

55 - determination de la valeur de la luminance en 
ce point correspondant, 

- attribution au pixel de depart dans I'image 
cible de la valeur de luminance de ce pixel 
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correspondant, 

- et repetition de ces Stapes pour cliacun des 
pixels de Timage cible. 

Selon rinvenlion. pour mettre en oeuvre ce 
precede, on propose en outre un dispositif de s 
traitement d'images incluant : 

- un systeme de n cameras reelles fixes, dis- 
posees de maniere a ce que leurs champs 
de vue individuels fusionnent pour former un 

seul champ de vue de grand angle pour io 
I'observation d'une scene panoramique, 

- un systeme de construction damage simulant 
une camera dite virtuelle, mobile, balayant 
continuement la scene panoramique pour en 
fournir une sous-image dite cible, correspon- is 
dant a une section arbitraire du champ de 

vue de grand angle, et construite a partir des 
images dites sources adjacentes foumies par 
les n cameras reelles. cette camera virtuelle 
ayant un point de fuite confondu avec, ou 20 
proche de celui des cameras reelles, 
caracterise en ce que ce systeme de traitement 
dimage est numerique et en ce que le systeme de 
construction (100) de I'image cible Io inclut : 

- un calculateur d'adresse. pour faire corres- 25 
pondre a une adresse d'un pixel dans Timage 
cible, un point a une adresse dans une des 
images sources, 

- des moyens pour cafculer la valeur de lumi- 
nance du point a Tadresse trouvee dans 30 
I'image source, et pour affecter cette valeur 

de luminance au pixel de depart a I'adresse 

dans I'image cible. 
Ainsi, le dispositif selon invention permet de 
realiser la construction d'une image cible comme 35 
celle que fournirait une camera supposee. se de- 
plagant de maniere continue ; cette image cible est 
formee a partir de plusieurs images sources adja- 
centes fournies chacune par une camera du grou- 
pe de cameras disposees de maniere fixe vis-a-vis 4o 
de la scene a observer ; et, a partir de cette 
construction, ce dispositif peut fournir. par I'afficha- 
ge sur dcran. ou par enregistrement : 

- soit une restitution sequentielle, image par 
image, de partitions de la scene observee, 45 
avec ^ventuellement effet de zoom, 

- soit une restitution continue par balayage de 
la scene observee avec effet de site et d'azl- 
mut ou de rotation. 

Dans une mise en oeuvre particulifere. ce dis- 50 
positif est caract^ris^ en ce que le systfeme de 
reconstruction de Timage cible comprend : 

- des premiers moyens de stockage des para- 
m§tres relatifs a la camera virtuelle pour four- 
nir au calculateur d'adresse le facteur 55 
d*echelle et Torientation de Taxe oplique de 

la camera virtuelle dans un repere terrestre 
orthonorme fixe et independant des cameras, 



d^finie par ses angles d'azimut. de site et de 
rotation ; 

- des seconds moyens de stockage des para- 
metres relatifs aux cameras reelles pour four- 
nir au calculateur d'adresse le facteur 
d'echelle et I'orientation de I'axe optique de 
chacune des cameras reelles definie par 
leurs angles d'azimut. de site et de rotation 
dans ledit repere terrestre fixe ; 

- un generateur d'adresse pour generer les 
adresses (Ao) des pixels de Timage cible. 
pixel par pixel, de maniere a couvrir la totalite 
de I'image cible. le calculateur d'adresse de- 
terminant alors rimage source particuliere et 
le point a I'adresse (Aq) dans cette image 
source, qui correspond a chaque pixel de 
I'image cible a partir des parametres des 
cameras virtuelle et reelles. 

Un autre probleme technique se pose a la 
construction de I'image cible. En effet. on suppose 
que Ton dispose d'une pluralite de cameras posi- 
tionnees de maniere adjacentes et de telle sorte 
que le champ couvert par chacune ne laisse 
echapper aucune zone de la scene panoramique a 
construire : on suppose done que Ton dispose de 
toutes les donnees pour construire Timage cible. 
Neanmoins. a chaque frontiere entre les cameras, 
au passage d'une Image d'une camera, a une autre 
image d'une camera adjacente, la difference d'an- 
gle de visee de ces deux cameras, pour deux 
zones adjacentes de la scene enregistrees par ces 
deux cameras differentes, cree de grandes distor- 
sions d'image. 11 en r^sulte que les partitions qui 
sent realisees a cheval sur deux zones de la scene 
enregistree par deux cameras differentes sent tres 
inconfortables a visualiser et manquent totalement 
de precision. 

Un autre but de I'invention est done de fournir 
une telle construction d'image cible qui est corri- 
gee en distorslon d'image ^ la frontidre entre deux 
cameras, de telle sorte que cette ou ces frontiferes 
soil(ent) totalement invisible(s) par I'utilisateur. 

Ce but est atteint au moyen d'un dispositif de 
traitement d'image tel que defini precedemment et 
en outre caracterise ce que le calculateur d'adres- 
se comporte : 

- des premiers moyens de construction d'un 
modele (MCo) de camera virtuelle avec pro- 
jection k travers le point de fuite. 

- des seconds moyens de construction de mo- 
dules (MC1-MCn) de cameras reelles, avec 
projection k travers le point de fuite, et avec 
corrections des distorsions et d^fauts de 
perspective. 

Dans une mise en oeuvre particuliere, ce dis- 
positif est caracterise en ce que le calculateur 
d'adresse comporte : 
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- des premiers moyens de calcul de transfor- 
mation geometrique pour appliquer a chaque 
pixel h une adresse (Ao) de I'image de la 
camera virtuelle, une transformation geome- 
trique dite "transformation perspective" Inver- 
se (Hq^ ), qui prend en compte le modele 
(MCo) de la camera virtuelle fourni par les 
premiers moyens de construction, et les pa- 
rametres angulaires d'azimut. de site, de ro- 
tation et le facteur d'echelle de cette camera 
virtuelle, fournis par les premiers moyens de 
stockage, pour determiner a parti r de cette 
transformation perspective inverse (Hq^ ), le 
positionnement dans ledit repere terrestre, du 
rayon lumineux passant par ce pixel et le 
point de fuite, 

- des moyens pour stocker le positionnement 
du rayon lumineux obtenu par la transforma- 
tion perspective inverse (Hq^ ), 

- des moyens de selection pour selectionner 
rimage source particuliere traversee par ce 
rayon lumineux, 

- des seconds moyens de calcul de transfor- 
mation geometrique pour appliquer a ce 
rayon lumineux dans ledit repere terrestre, 
une transformation geometrique dite "trans- 
formation perspective directe" (H1-Hn). qui 
prend en compte les modeles des cameras 
reelles fournis par les seconds moyens de 
construction, les parametres angulaires d'azi- 
mut, de site, de rotation, et le facteur d'echel- 
le de la camera reelle correspondante, four- 
nis par les seconds moyens de stockage, 

- et des moyens de stockage pour fournir, a 
partir de cette transformation perspective di- 
recte (H1-Hn), radresse (Aq) dans rimage 
source particuliere qui correspond au rayon 
lumineux, et done au pixel d'adresse (Ao) 
dans rimage cible. 

Avec ce dispositif, Tutilisateur qui surveille une 
scene panoramique obtlent exactement le m§me 
confort, et les memos services qu*un utilisateur qui 
disposerait d'une camera mobile, avec zoom, et 
avec des moyens m^caniques pour realiser la va- 
riation de rorientation de Taxe optique, c'est-a-dire 
pour realiser des variations de site et d'azimut de 
la visee, ainsi que des rotations autour de I'axe 
optique de la camera. L'avantage est que les 
moyens mecaniques sont §vit6s. Ces moyens m§- 
caniques, qui incluent des moteurs de rotation me- 
canique d'angles de site et d'azimut. et un moteur 
de r^glage du zoom, sont toujours 116$ ^ des 
inconv^nients : d'abord ils peuvent se bioquer, 
ensulte les deplacements engendr^s sont tr§s 
lents. De plus, il sont tr^s onereux. Enfin, etant le 
plus souvenl installes en exterieur, ils se degradent 
rapidement du fait des intemperies. Les moyens 
electroniques de traitement d'image utilises selon 



rinvention ^vitent tous ces inconv§nients. car ils 
sont tres precis, fiables. tres rapides et faciles h 
commander. En outre, ils peuvent §tre disposes en 
interieur, el ainsi a Tabri des intemperies. De plus, 
5 les moyens electroniques sont facilement program- 
mables pour un fonctionnement automatique. Enfin. 
ils sont moins onereux que les moyens mecani- 
ques. 

Ainsi Tutilisateur obtient. avec les moyens de 

10 invention, d'abord une image depourvue de distor- 
sions et ensuite des plus grandes precisions, et 
facilites d'execution des manoeuvres de visee, que 
s'il disposait de moyens mecaniques. En outre, 
une scene panoramique de plus grand champ peut 

15 etre observes, puisque Ton peut observer des 
champs de 180* ou memo 360' selon le nombre 
de cameras utilisees. Par ailleurs. les manoeuvres 
peuvent §tre aisement programmees. 

En matiere de surveillance, il en resulte un 

20 grand progres. Dans le domaine de la realisation 
de retroviseurs panoramiques pour automobiles, 
rimportance du progres est aussi tres grande. 

Le fait d'utiliser plusieurs cameras pour faire la 
saisie des donnees necessaires a la construction 

25 de rimage cible n'est pas un desavantage, car un 
tel ensemble de cameras fixes, a CCD (dispositif a 
couplage de charge), est devenu moins onereux 
que ne le seraient les dispositifs mecaniques de 
variation de site, d'azimut et de rotation, ainsi que 

30 de zoom, associes a une seule camera reelle mo- 
bile. 

Dans une mise en oeuvre particuliere ce syste- 
me est caract^rise en ce que les moyens de deter- 
mination de luminance comprennent : 

35 - un interpolateur pour calculer une valeur la 
plus probable d*une fonction de luminance 
(F) au point I'adresse (Aq) trouv^e par le 
calculateur d'adresse dans rimage source 
fournie les moyens de selection : 

40 - des troislemes moyens de stockage pour af- 
fecter la valeur (F) de luminance correspon- 
dant au point k I'adresse (Aq) trouvee dans 
rimage source, au pixel de depart dans rima- 
ge cible a I'adresse (Ao) fournie par le gen§- 

45 rateur d'adresse et en ce que le systeme de 

reconstruction de I'image cible comprend 
aussi : 

- une interface pour permettre a un utilisateur 
de definir les parametres de la camera vir- 
50 tuelle. ces parametres incluant son facteur 

d'echelle et I'orlentation de son axe optique. 
L'invention est decrite ci-apr§s en detail, en 
reference avec les figures schematiques annexees 
dont : 

55 - la FIG.1A represente une vue du dessus 
montrant les traces des differents plans ima- 
ges, dans le plan horizontal du repere terres- 
tre, dans le cas ou les cameras reelles ont 
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des plans images perpendiculaires h ce plan 
horizontal ; 

- la FIG. IB represente le repere terrestre Px. 
Py, Pz. vu en projection dans le plan horizon- 
tal : 5 

- la FIG.1C represente en vue plane, un plan 
Image source avec son systeme d'axes de 
coordonnees particulier ; 

- la FIG. ID represente en vue plane, le plan 
image cible avec son systeme d'axes de io 
coordonnees particulier ; 

- la FIG. 1 E represente Teffet de la delimitation 
d'une section du champ de vue de grand 
angle de deux cameras reelles adjacentes, au 
moyen des parametres cholsis par Tutilisa- 75 
teur pour la camera virtuelle, pour construire 

une sous-image d*une scene panoramique ; 
• la FIG.1F represente Timage cible construlte 
par la camera virtuelle definie par ces para- 
metres. cette Image cible etant composee 20 
d'une premiere partie d'image construite a 
partir de Timage source fournie par la pre- 
miere des deux cameras reelles, et d'une 
seconde partie d'image construite a partir de 
I'image source fournie par la seconde de ces 25 
cameras; 

la FIG.1G represente une disposition relative 
de trois cameras reelles adjacentes pour cou- 
vrir un champ de vue de 180* ; 
la FIG.2 qui represente en blocs fonctionnels 
le dispositif de traitement d'image avec le 
systeme de construction de Timage cible. les 
cameras reelles. Tinterface-utilisateur et le 
systeme de visualisation de Timage cible ; 
la FIG. 3 qui represente le dispositif de traite- 
ment d'image sous forme de blocs fonction- 
nels plus d^tailt^s que la FIG.2 ; 
la FIG.4 qui illustre le calcul d'une valeur 
d'une fonction de luminance relativement a 
une adresse dans une Image source ; 40 
la FIG. 5A qui illustre la mod^lisation des 
cameras reelle et virtuelle ; 
la FIG. 5B qui illustre en projection sur le 
plan horizontal du repere terrestre, I'effet des 
perspective et distorsion sur les positions des 4S 
points correspondents de meme luminance 
dans I'image cible et dans I'image source 
travers^es par un meme rayon lumineux pas- 
sant par ces points ; 

la FIG.6 qui represente. sous forme de blocs so 
fonctionnels, le calculateur d'adresse qui cal- 
cule I'adresse du point dans I'image source, 
correspond k un pixel k une adresse donn^e 
dans I'image cible ; 

la FIG.7A qui represente une premiere image 55 
source num^rique telle que formee par une 
premiere camera fixe reelle et la FIG.7B qui 
represente une seconde image source telle 
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que formee par une seconde camera fixe 
reelle adjacente a la premiere 

- la FIG.7C represente une image cible numeri- 
que reconstruite de la m§me fagon que dans 
le cas de la FIG. IF, sur laquelle est mise en 
evidence les defauts de distorsion et pers- 
pective entre la premiere partie d'image cible 
construite h partir de la premiere image sour- 
ce, et la seconde partie d'image cible 
construite a partir de la seconde image sour- 
ce ; 

- la FIG.7D represente I'image cible numerique 
de la FIG.7C apres traitement par le dispositif 
de traitement d'image ou les defauts de dis- 
torsion et perspective sont elimines. 



1/ Le systeme de prise de vue 

La Fig.lG montre une disposition possible de 
plusieurs cameras fixes reelles pour enregistrer les 
donnees relatives h une sc^ne de 180' d'angle. 
L'enregistrement de cette scene panoramique est 
fait avec trois cameras fixes CI. C2. C3. Les 
champs optiques des cameras sont tels qu'absolu- 
ment tous les details de la scene panoramique sont 
enregistres par une camera ou par une autre, de 
maniere a ne laisser echapper aucun objet de la 
surveillance. Les cameras sont disposees de ma- 
niere a avoir un point de fuite commun P (en 
anglais : VIEW POINT) ou des points de fuite tres 
proches. 

Les axes PZ1, PZ2. PZ3 representent respecti- 
vement les axes optiques des cameras Cl, C2, C3 
; et les points 01, 02, 03 representent respectlve- 
ment les centres geometriques des Images 11, 12. 
13, dans les plans images, sur les axes optiques. 

On pourrait effectuer une surveillance horizon- 
tale sur 360 * en disposant de maniere appropriee 
6 cameras fixes. Mais on pourrait aussi effectuer 
une surveillance verticale. ou dans les deux direc- 
tions. L'homme du metier peut, sans description 
plus approfondie des diverses dispositions des ca- 
meras fixes les unes vis-^-vis des autres. realiser 
toute sorte d'observation d'une sc^ne panorami- 
que. 

En reference avec la FIG. 1A, le dispositif de 
prise de vue comprend une pluralite de n cameras 
reelles fixes, de focales fixes et connues. dispo- 
sees de maniere adjacente, et de telle sorte que 
leurs champs de vue indlviduels fusionnent pour 
couvrir un champ de vue de grand angle. Ainsi. les 
n camera fixes adjacentes fournissent n images 
fixes adjacentes, de sorte que ce dispositif de prise 
de vue peut survelller une sc§ne panoramique. Les 
champs optiques de cameras sont tels que tous les 
details de la scene panoramique sont enregistres 
par une camera ou par une autre, pour ne laisser 
echapper aucun objet de la surveillance. 
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Pour obtenir ce r^sultat. ces n cameras fixes 
adjacentes sont en outre dispos^es de telle sorte 
que leurs centres optiques P, encore appeles 
points de fuite (ou VIEW POINT en anglais) coVnci- 
dent. Le point de fuite d'une camera est defini 
comme le point tel que tout rayon issu d*une 
source lumineuse et passant par ce point, traverse 
I'optique de la camera sans deviation. 

En fait, les points de fuite des n cameras ne 
peuvent pas physiquement coVncider. Mais on 
considere ct-apres que la condition de coVncldence 
est suffisamraent bien remplie si la distance qui 
separe chacun de ces points de fuite les uns des 
autres est petite vis-a-vis de leur distance a la 
scene panoranriique filmee, par exemple si leur 
distance respective est 5 cm ou 10 cm, et la 
distance h la scene panoramique est 5 m. Ainsi la 
condition de coTncidence est estimee remplie si le 
rapport de ces distances est de I'ordre de, ou 
superieur a, 50, et il n'est pas besoin, selon I'inven- 
tion. d'utiliser des optiques h miroirs difficiles h 
ajuster, et couteuses, pour arriver a une coTnciden- 
ce rigoureuse des points de fuite. 

11/ La formation des images par les cameras 

Le but de rinvention est de fournir un systeme 
de reconstruction d'image numerique qui simule 
une camera mobile capable, avec des reglages 
choisis par un utilisateur, de fournir une image 
numerique de n'Importe quelle partie. ou sous- 
image, de la scene panoramique enregistree par 
les n cameras fixes. 

Les n cameras sont numerotees CI.... Ci, Cj... . 
Cn ; ces cameras fournissent respectivement des 
images dites sources num^riques II..,, li, Ij-. 
Dans ce qui suit, on conslderera par exemple les 
images sources li et Ij formees par deux cameras 
r^elles fixes adjacentes Ci et Cj. 

Ces cameras Ci et Cj reelles fixes torment des 
images respectives de la scene panoramique dans 
des plans images sources adjacents li et Ij. Sur la 
FIG. 1A, les axes PZi et PZj, passant respective- 
ment par les centres g^om^triques Oi et Oj des 
images sources li et Ij, representent les axes opti- 
ques des cameras reelles fixes Ci et Cj. 

En reference avec la FIG. IB, on definit 
d'abord un repere terrestre Px. Py. Pz, d'axes 
orthogonaux dans lequel les axes Px et Pz sont 
horizontaux, et Taxe Py est vertical. 

Les images sources, telles que les images li et 
Ij. sont num^ris^es, et chaque pixel m de ces 
images est rep^r^ par ses coordonn^es dans le 
plan image. A cet effet, comme repr^sent^ sur la 
FIG.1C, on definit dans chaque plan image un 
repere de coordonn^es rectangulaires (OiXi. OiYi) 
et (OjXj, OjYj)) dans lequel les axes OiXi. ou OjXj, 
sont horizontaux, c'est-^-dire dans le plan du repe- 



re terrestre Px, Pz. Les plans images d^finis par 
(OiXi, OiYi) et (OjXj, OjYj) sont perpendiculaires 
aux axes optiques PZi, et PZj et ont pour centres 
g^ometriques Oi et Oj respectivement. 
5 Une fols etablis les repferes Individuels \\6s k 

chaque plan image des cameras, ces plans images 
sources fixes peuvent etre lies au repere terrestre 
par : 

- leur angle d'azlmut (en anglais PAN) ei. ej. 

10 - leur angle de site (en anglais TILT) 4>i, 4>j. 

L'angle d'azlmut ei ou ej, est Tangle que fait 
un plan vertical contenant Taxe optique PZi ou PZj, 
avec Taxe horizontal Pz du repere terrestre. C'est 
done un angle de rotation horizontale autour de 

75 Taxe vertical Py. 

L'angle de site 0i ou ej est Tangle que fait 
I'axe optique PZi ou PZj avec le plan horizontal 
(Px, Pz). C*est done un angle de rotation verticale 
autour d'un axe horizontal, I'axe OiXi ou OjXj de 

20 chaque plan image. 

Dans I'expos^ ci-apres, pour des raisons de 
simplicity, on a suppose, a titre d'exemple. en 
reference avec la FIG.1A que les plans images II. Ij 
sources fournis par les cameras fixes Ci, Cj etaient 

25 verticaux. c'est-a-dire que leurs angles de site <i>i, 
4»j Etaient nuls. 

Pour des raisons de simpliclte egalement, on a 
note par la meme reference sur la FIG. 1A la trace 
des plans et des axes, et les plans et axes corres- 

30 pondants, aussi bien pour les images sources que 
pour rimage cible d^crite plus loin. 

La FIG.1A, qui est une vue du dessus schema- 
tique des images formees, laisse done apparaltre 
seulement les traces li et Ij des plans images 

35 sources fixes representees par des segments dans 
le plan horizontal Px, Pz. 

La FIG. IE montre par exemple les images li et 
Ij contigues de la scene panoramique fournies par 
deux cameras fixes Ci et Cj adjacentes. Sur la FIG. 

40 1E, pour la simplicite de Texpos^, les images li et 
Ij sont representees toutes les deux projet^es dans 
un meme plan, alors que dans la r^alite, ces ima- 
ges font entre elles un angle egal h celui des axes 
optiques des cameras fixes. Dans ces images, 

45 I'utilisateur peut choisir de regarder n'importe quel- 
le sous-image delimitee par la ligne Jo. plus ou 
moins k gauche ou k droite, plus ou moins en haut 
ou en bas. avec le meme grandissement que les 
cameras fixes, ou avec un grandissement sup§- 

50 rieur, ou ^ventuellement avec un grandissement 
lnf§rieur. 

La camera mobile simul^e est capable de 
construtre une image dite cible lo k partir des 
parties d'image source Si, Sj deiimitees par la ligne 
55 Jo de la FIG. IE. Cette camera r^ferencee Co ci- 
apr^s est appelee camera virtuelle du fait qu'elle 
simule une camera non reellement existante. Evi- 
demment cette camera mobile n'est pas limttee h 
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explorer les deux images li, Ij. Elle peut explorer 
toutes les images sources de II a In. 

Cette camera virtuelle Co peut etre definie de 
la meme fagon que les cameras reelles fixes par : 

- son angle d'azimul eo 

- son angle de site <l>o 

- son angle de rotation \po 

- et son grandissement (effet de zoom) concre- 
tise par sa longueur focale POo. notes 20, 

a condition de choisir son point de fuite P confon- 
du avec les points de fuite P des cameras reelles 
fixes, Oo etant le centre geometrique de I'image 
cible lo. Le point de fuite de la camera virtuelle est 
confondu avec le point de fuite approximatif defini 
plus haut pour les cameras reelles. 

La FIG. 1A montre la trace notee lo du plan 
image de la camera virtuelle dans le plan horizontal 
et son axe optique PZo passant par le centre 
geometrique Oo de I'image cible lo. 

Dans la definition de cette camera virtuelle Co 
mobile, Tangle d'azimut 80 est Tangle que fait le 
plan vertical contenant son axe optique PZo avec 
Taxe Pz horizontal du repere terrestre ; Tangle de 
site *o est Tangle que fait son axe optique PZo 
avec le plan horizontal Px. Pz du repere terrestre ; 
son angle xf^o est Tangle de rotation de la camera 
virtuelle autour de son propre axe optique. ce der- 
nier etant fixe ; enfin, sa focale POo est variable, 
ce qui permet de changer le grandissement de 
cette image cible par rapport a celui des images 
sources (effet de ZOOM). 

Ainsi. en faisant verier les angles d'azimut et 
de site, 00 et *o, son angle de rotation ^po et la 
focale POo. la camera virtuelle est tout a fait assi- 
milable h une camera mobile qui balaye le champ 
de vue de grand angle forme par les champs de 
vue fusionnes des diff^rentes cameras reelles fixes 
CI h Cn. 

On remarquera que la camera virtuelle Co peut 
viser une partie petite (ou sous-section). d§limitee 
par Jo. du champ de vue de grand angle et en 
realiser une image agrandie lo par exemple de 
meme dimension finale que chacune des images 
II. ..In fournie par chacune des cameras reelles 
Cl... Cn, en jouant sur sa focale variable POo. 

On remarquera egalement que le deplacement 
du champ de vue de la camera mobile Co peut 
etre continu et arbitraire ; ce champ de vue corres- 
pondant k Jo peut se trouver k cheval sur deux 
parties (Si.Sj) d'image It et Ij contigUes en LO, 
fournies par deux cameras adjacentes CI et Cj. 

Dans ce cas, Timage lo construite par la came- 
ra virtuelle Co contient deux parties damage diff§- 
rentes, Tune loi etant construite k partir des Infor- 
mations Si contenues dans Timage numerique li, et 
Tautre loj ^tant construite a partir des informations 
Sj contenues dans Timage numerique Ij. Dans la 
FIG.1A, loi et loj representent les traces des ima- 



ges cibles loi et loj dans le plan horizontal. 

Comme pour les images reelles. on definit 
maintenant. en reference avec la FIG. ID, dans le 
plan de Timage cible numerique lo, un repere de 

5 coordonnees rectangulaires (Oo Xo, Oo Yo) dans 
lequel Taxe Oo Xo est horizontal, c'est-a-dire dans 
le plan horizontal du repere terrestre Px, Pz. Le 
pixel Oo etant le centre geometrique de Timage 
cible lo, en outre situe sur Taxe optique PZo de la 

70 camera virtuelle Co. Chaque pixel m' du plan ima- 
ge cible lo est done repere par ses coordonnees 
dans ce systeme d'axes rectangulaires (Oo Xo, Oo 
Yo). 

On definit egalement un cadrage de Timage 
75 cible, c'est-a-dire ses dimensions en nombre de 
pixels selon la direction horizontale et nombre de 
lignes selon ia direction verticale. 

Ill/ La methode de construction de I'image ci- 
20 ble a partir des images sources 

La tache des moyens de traitement d'images 
numeriques selon Tinvention est done la construc- 
tion de "Timage cible" fournie par la camera vir- 
25 tuelle. a partir des "images sources" fournies par 
les cameras reelles fixes. 

On a vu que. dans la construction de Timage 
cible lo, se posait un probleme technique parce 
que les images li et Ij fournies par les cameras 
30 reelles adjacentes, telles que representees sous 
forme d'images numeriques de paysage sur les 
FIG.7A et 7B, respectivement montrent des distor- 
sions qui font qu'elles ne se raccordent pas correc- 
tement : en particulier certaines parties de lignes 
35 droites sent courbes, les verticales ne sent pas 
verticales etc. Ce qui fait que, au raccord, ces 
lignes vont etre secantes au lieu d'etre dans le 
prolongement les unes des autres. De plus, les 
parties d'images sources de part et d'autre du 
40 raccord proviennent de parties de la sc§ne panora- 
mlque h observer qui sont vues sous des perspec- 
tives differentes. D'ou il resutte que les parties 
d'image cible loi et loj pourraient etre mal raccor- 
d§es, comme il apparaTt dans Timage numerique 
45 cible representee k titre d'exemple sur la FIG.7C et 
formee par la juxtaposition pure et simple des 
parties des images numeriques des FIG.7A et 7B. 

La presente invention propose une methode et 
des moyens pour s'affranchir de ces d^fauts et 
50 fournir une image numerique reconstruite qui est 
d^pourvue des d§fauts de distorsions et de pers- 
pectives, et dont les parties loi, loj qui la compo- 
sent se raccordent de mani§re telle que la droite 
fronti§re est invisible pour Tobservateur et utilisa- 
55 teur. 

La FIG,7D montre Timage numerique du pay- 
sage de ia FIG.7C dans laquelle les d^fauts de 
distorsion et perspective ont ^t^ con-iges par les 
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moyens de Tinvention. 

La methode generate de construction de I'ima- 
ge source comprend differentes etapes qui sont 
mises en oeuvre par le dispositif de irailement de 
signal decrit plus loin. 

Cette methode comprend d'abord une etape 

oii : 

- a chaque pixel mV ayant une adresse Ao 
dans rimage cible lo, on fait correspondre un 
point m a une adresse Aq dans une image 
source, cette adresse etant definite par : 

- la reference ou index de la camera reelle qui 
va fournir I'image source ; 

- I'adresse Aq du point m dans cette image 
source. Cette methode comprend alors une 
seconde etape ou : 

- la valeur la plus probable de la luminance est 
evaluee en ce point m de I'image source, 

- puis cette valeur de luminance est affectee 
au pixel m' dans Timage cible. 

Ces etapes sont menees pour tous les pixels 
m' de I'image cible lo. 

Cependant, les moyens de traitement doivent 
rendre a Timage cible construite, toutes les qualites 
d'une image que I'observateur obtiendrait avec une 
camera mobile conventionnelle : 

- absence de distorsions, ajustage des pers- 
pectives. 

- absence de droite de coupure a la frontiere 
entre deux ou plusieurs images adjacentes. 

Le probleme est done de rendre ces droites fron- 
tieres invisibles. 

IV/ Le dispositif de traitement d'image dans 

ses elements essentiels 

La Fig.2 montre sous forme de blocs fonction- 
nels les differents elements du dispositif de traite- 
ment d'image selon Tinvention. 

Les blocs C1, Ci, Cj... Cn represented les n 
cameras fixes reeltes dont les sorties fournissent 
les n images sources notees 11,... li, Ij.., in. 

Chacune des cameras reelles a des param§- 
tres de prise de vue correspondent k son orienta- 
tion par rapport a la scene, ainsi qu'un facteur 
d'echelle. Ces parametres doivent etre connus de 
maniere tres precise. 

Le bloc 1 repr^sente un systfeme de controle 
qui permet a I'utilisateur de choisir et d'afficher des 
parametres relatifs a I'orientation et h un facteur 
d'echelle de la camera virtuelie Co. 

Le bloc 100 est un syst^me de reconstruction 
d'image qui permet de calculer, a partir des ima- 
ges sources II. ...In fournies par les cameras reelles 
CI... Cn, I'image dite "image cible" lo qui serait 
donnee par la camera virtuelie Co orientee et re- 
gime avec les parametres definis par le syst^me de 
contr6le 1, cette camera virtuelie Co 6tant dispo- 



s6e de telle sorte que son point de fuite est 
confondu ou proche du point de fuite P des came- 
ras reelles. 

Le bloc 1 0 correspond a des moyens d'afficha- 

5 ge, ou bien d'enregistrement, qui peuvent etre en- 
tre autres, un moniteur d'affichage numerique pour 
I'affichage en temps reel et/ou un magnetoscope 
pour I'enregistrement sur bandes magn^tiques et... 
□'autre part, il faut noter que les cameras 

10 reelles peuvent fournir des donnees analogiques. 
Dans ce cas, des modules de conversion analogi- 
que-numerique non representes sont utilises pour 
former les images sources numerlques. 

D'une fagon avantageuse, Thomme du metier 

76 peut choisir des cameras a coupfage de charges 
(CCD. de Tanglais Charge Coupled Device). Ce 
genre de camera est peu onereux, leger, robuste et 
fiable. Sa resolution est tres bonne, et peut encore 
augmenter dans le futur en fonction de revolution 

20 des technologies. 

V/ Le dispositif de traitement d'image dans 

ses elements detailles 

25 La Fig.3 montre un diagramme de blocs fonc- 

tionnels correspondant aux moyens essentiels pour 
realiser le traitement. 

Ces moyens comportent principalement : 

- une interface utilisateur 2, 

50 - un calculateur d'adresse 200. incluant un se- 
lecteur d'image source 205 ; 

- un interpolateur 112. 

- un generateur d'adresse 113 qui genere les 
adresses Ao des pixels de I'image cible lo. 

35 pixel par pixel, de maniere a couvrir la totalite 

de cette image cible lo, 

- des premiers moyens de stockage 210 des 
parametres </>o. So, et zo (le facteur 
d'^chetle) de la camera virtuelie Co, 

40 - des seconds moyens de stockage 21.1 ^ 
21 .n des parametres <t>^ h <t>n, 91 h en, xP'X k 
\pn et 2l ^ zn (les facteurs d'echelles des 
cameras reelles CI h Cn) respectivement, 

- des troisifemes moyens de stockage 117. 

45 Pour chaque pixel m* de I'image cible lo k 

construire, une adresse Ao est stock^e dans le 
bloc 113 generateur des adresses dans Timage 
cible lo. En fonction des r6glages choisis par I'utili- 
sateur qui sont entr^s dans le bloc de controle 1 

50 au moyen d'une interface-utilisateur proprement 
dite 2, et qui sont stock^s sous la forme des 
parametres <»o, eo, \l^o et zo de la camera virtuelie 
dans le bloc 210. et en fonction des parametres 
ei, \f/\ et zj (j repr^sentant Ici Tlndice de toutes les 

55 cameras de 1 ^ n) des cameras reelles qui sont 
stockes dans les blocs 21.1. 21 .j, 21 .n, le calcula- 
teur d'adresse 200 fournit I'index j (parmi tous les 
indices 1 ^ n) de la camera reelle Cj capable de 
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fournir rimage Ij oD trouver les donn^es correspon- 
dant ^ Tadresse Ao du pixel m' de rimage cible lo. 

Alors le selecteur d'image 205 selectionne cet- 
te camera reelle Cj parmi les n cameras reelles, el 
fournil Timage source Ij correspondante oCi Irouver s 
ces donnees a trailer. 

Le calculateur d'adresse 200, a partir des mi- 
mes elements, calcule I'adresse Aq du point m 
correspondant dans cette image source Ij selec- 
tionnee, et ceci a travers les differentes transforma- io 
tions ou perspectives imposees par Tutilisateur en 
2. 

Par ces operateurs, on etablit done une corres- 
pondance entre un pixel m* a une adresse donnee 
Ao de rimage cible lo, et un point m h une adresse is 
calculee Aq d'une image source li. 

Puis, la valeur de la luminance au point m a 
Tadresse Aq dans Timage source Ij est determin^e, 
afin d'etre affectee au pixel correspondant m* a 
I'adresse Ao dans Timage cible lo. Et ainsi pour 20 
tous les pixels de I'image cible lo. 

Mais, alors que I'adresse Ao dans I'image cible 
lo est reellement celle d'un pixel m', a la differen- 
ce. I'adresse Aq dans I'image source li est precise- 
ment une adresse calculee, ce qui fait que, en 25 
general, cette adresse trouvee ne coVncide pas 
avec un pixel, mais avec un point m dispose entre 
des pixels. La luminance de ce point m doit done 
etre egalement calculee. 

La Fig.4 illustre le probleme qui se pose lors- 30 
que I'adresse Aq ne coincide avec aucun pixel 
d'une image source li. 

Ce probleme est traite par Tinterpolateur 112. 
L'interpolateur 112 prend en compte I'lntensite 
lumineuse, c'est-a-dire par exemple les niveaux de 35 
gris, ou une valeur d'une fonction de luminance 
des pixels d'un voisrnage de I'adresse Aq, pour 
calculer Tintensit^ lumineuse a affecter h I'adresse 
Aq en question. Et par une methode d'interpolation, 
le bloc 112 calcule I'intensite la plus probable a 40 
affecter a I'adresse Aq. 

II existe plusieurs fonctions possibles d'interpo- 
lation qui sent plus ou moins complexes, et qui 
fournissent selon leur complexity, des resultats 
plus ou moins finement ajustes. 45 

Une fonction d'interpolation tres simple est Tin- 
terpolation bilineaire illustree par la Fig.4. L'adresse 
Aq comporte une partie enti§re et une partie frac- 
tionnaire. L'adresse Aq se trouve pour cette raison 
situee entre quatre pixels voisins ml. m2, m3. m4. 50 
La partie fractionnaire de l'adresse est representee 
par A X compte positivement de ml vers m2, et 
par A y compte positivement de ml vers m3. La 
distance entre ml et m3, et entre ml et m2 est de 
1 pixel. 55 

L'intensite F ou valeur de la fonction de lumi- 
nance a l'adresse Aq est calculee a partir des 
valours de Ax. Ay et des intensites (ou valours des 



fonctions de luminance) des pixels ml. m2, m3, 
m4 du voisinage. soit respectivement F1, F2, F3. 
F4 

F(Aj) = Fr(1 -Ax)(1-Ay) + F2Ax(1 -Ay) + F3(1 -Ax)- 
Ay+F4Ax.Ay 

L'intensite F(Aq) calculee par l'interpolateur a 
l'adresse Aq dans les images sources, est ensuite 
attribuee comme intensite (ou valeur de fonction de 
luminance) au pixel m' situe a l'adresse de depart 
Ao dans I'image cible lo, et stockee dans le bloc 
117. 

VI/ Description du calculateur d'adresse 200 

En reference avec la FIG.6, le calculateur 
d'adresse 200 est d^crit ci-apres en detail. 

Le calculateur d'adresse 200 prend d'abord en 
compte les parametres des cameras virtuelles et 
reelles telle que definis precddemment. 

Le parametres ^o. Go, i^o et 20 de la camera 
virtuelle sont disponibles dans le module de stoc- 
kage 210 ; les parametres <>1 a 4>n, 61 a en, ^^1 a 
\l^n et z1 a zn des cameras reelles sont disponibles 
respectivement dans les modules de stockage 21.1 
a 21 .n. 

On a determine une definition des dimensions 
des images en nombre de pixels qui s'exprime par 
largeur x hauteur (en pixels). Done les facteurs zo 
ou zi d'echelle s'expriment en pixels/mm. Les an- 
gles sont exprimes par exemple en degres. 

Pour la camera virtuelle, ces parametres <^o, 
Go, xf^o, zo sont calcules a partir de I'orientation ou 
positionnement de I'axe optique de la camera vir- 
tuelle, du positionnement de son point de fuite P et 
centre d'image Oo, et du facteur d'echelle choisis 
par I'utilisateur, entres sur I'interface 2. 

Pour les cameras reelles, les parametres <^1 k 
<^n, 61 a 6n. ^|/^ a i^n. les distances focales P01 k 
POn, les facteurs d'echelle zl ^ zn et le centre 01 
a On de I'image numerique sont determines de 
fagon tr^s precise, a partir de calibrages et mesu- 
res tres precises effectuees sur le positionnement 
du point P et centre 01 a On de chaque camera, 
son facteur d'echelle, et Torientation ou positionne- 
ment de son axe optique. 

Le calculateur d'adresse 200 comprend ensuite 
des moyens 201 et 206 pour construire une mode- 
lisation de la camera virtuelle Go. et une modeiisa- 
tlon des cameras reelles CI. C2, C3,...Cn. 

La Fig.SA illustre le principe de modeiisation 
des cameras virtuelle Co. et reelles CI, C2... Cn. 
Le modeie de projection represente sur la Fig.SA 
est fonde sur une projection conique a travers un 
point selon laquelle tous les rayons optiques pas- 
sent par le seul point de fuite P (en anglais PIN- 
HOLE MODEL). Le point de fuite P (en anglais : 
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VIEW POINT) est suppose confondu pour toutes 
les cameras, reelles ou virtuelle, sous las condi- 
tions exposees precedemment. 

Le repere terrestre Px, Py, Pz, el le repere 
individuel de la camera virtuelle sonl d^flnis dans 
le module de construction 201 ; le repere terrestre 
Fx, Py, Pz et les reperes individuels de chacune 
des cameras reelles Cl a Cn sent definis dans le 
module de construction 206. 

Supposons, en reference avec la Fig.SA que M 
soit un point objet situe dans une scene a surveil- 
ler. Le point m' correspondant a M dans le plan 
image de la camera virtuelle Co est situe h Tinter- 
section de la droite PM avec le plan image lo 
(Ooxo, Ooyo) de la camera Co. 

II faut remarquer que le modele de la FIG.5A 
est directement valable pour la camera virtuelle qui 
est une camira id^ale sans distorsions. Lorsque 
Ton a affaire a une camera reelle, par exemple 
munie d*un objectif a grand angle d*ouverture, il 
existe dans Timage des distorsions qu'il faut corri- 
ger. 

La FIG.5B illustre ce probleme. Cette figure 5B 
montre les traces des plans image cible lo, et 
image source Ij representes comme dans la 
FIG.1A. 

Le probleme a resoudre. pour construire Tima- 
ge cible lo h partir des images sources II a In est 
de determiner a quelle adresse Aq on peut trouver 
le point m qui correspond exactement au pixel m* 
d'adresse Ao. On cherche en effet a determiner 
rintensite qui existe dans Timage source en ce 
point m, pour pouvoir I'affecter au point m' dans 
rimage cible. 

Cette determination n'est pas simple du fait 
des d^fauts de distorsions et d^fauts de perspecti- 
ve qui affectent les cameras reelles. 

En reference avec la FIG.5B, on a represente 
comme dans la FIG.5A que le pixel m' d'adresse 
Ao se trouve a intersection du rayon lumineux PM 
avec rimage cible lo. PM ^tant le rayon qui joint le 
point de fuite P a un point M de la scene h 
observer puisque, dans cette camera ideale, tout 
rayon passant par le point de fuite P traverse le 
plan image sans deviation. 

Par ailleurs, ce rayon PM coupe le plan image 
source Ij en un point m". La camera Cj sera done la 
camera reelle selectionn^e pour fournir les don- 
nees n^cessaires a la construction de cette partie 
de rimage cible. 

Mais par centre, il n'est pas vrai que le point 
m* situ^ ^ I'intersection entre le meme rayon PM et 
le plan image source Ij soit le point correspondant 
de m' dans Ij capable de fournir la valeur d'intensi- 
te F ^ affecter k ce point m*. 

II faut prendre en compte que la camera Cj, 
comme toute camera, comprend un objectif opti- 
que. qui forme une image reelle sur un substrat 



muni d*une matrice de CCD ; cette image reelle est 
ensuite transformee par un module de conversion 
analogique-numerique pour fournir I'image source 
numerique Ij qui est alors traitee par le dispositif de 

5 Iraitement d'image numerique selon rinvenlion. Du 
fait de la necessite d'utiliser un objectif a lentille, 
on peut considerer, comme il est montre schemati- 
quement sur la FIG.5B, que le rayon lumineux MP 
est devie par le champ de distorsion DP represente 

10 en traits polntilles, ce qui fait que le point corres- 
pondant a m* n'est pas le point m* situe sur MP. 
mais bien un point m situe a une petite distance de 
m* dans le plan image source Ij. 

Avec les donnees relatives aux reperes terres- 

75 tre et Individuel, le module de construction 201 
batit un modele MCo de camera virtuelle sur le 
modele de projection conique represente sur la 
FIG-5A, dans lequel tout rayon PM dans Tespace a 
3 dimensions correspond a un pixel m* dans Tes- 

20 pace a 2 dimensions constitue par le plan image 
cible lo. puisque la camera virtuelle Co est consi- 
deree comme un camera ideale. 

D'autre part, avec les donnees relatives au 
repere terrestre et aux reperes individuels, le mo- 

25 dule de construction 206 batit les modeles MCI a 
MCn relatifs k chacune des cameras reelles, sur le 
module de projection conique represente sur la 
FIG.5A, dans lequel tout rayon PM dans I'espace a 
3 dimensions correspond a un point m* dans Tes- 

30 pace a 2 dimensions constitue par le plan image 
source de chacune des cameras. Et, comme ces 
cameras ne sont pas des cameras ideales, nnais 
presentent au contraire des distorsions, ce module' 
206 de construction des modeles MC1 a MCn 

35 contient des moyens de corrections de distorsions 
qui permettent de remplacer syst^matiquement le 
point m* trouv§, qui correspond k une image sour- 
ce distordue, par un point m dans le m§me espace 
a deux dimensions, qui correspond h une image 

40 source corrigee. Les moyens de correction des 
distorsions des objectifs peuvent §tre tous moyens 
connus de I'homme du metier. 

Le calculateur d'adresse 200 comprend en ou- 
tre des moyens de calcul d'adresse proprement 

45 dits pour determiner Tadresse Aq de ce point m de 
rimage source distordue Ij. 

Ces moyens sont representes sous forme de 
blocs fonctionnels sur la FIG.6, et mettent en oeu- 
vre une methode du calcul de I'adresse Aq, decrite 

50 ci-apres. et lllustree par la FIG.5B pour la clart^ de 
rexpos§. 

VI a) La methode de calcul d'adresse 

55 Cette methode de calcul de I'adresse Aq cor- 

respondant a une adresse de depart Ao, comporte 
plusieurs etapes qui incluent au moins une trans- 
formation geom^trique complexe qui est le produit 
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de plusieurs transformations 6l6mentaires. Cette 
transformation geom^trique est fondle sur le fait 
qu'il existe maintenant, grace au module 206 decrit 
precedemmenl, une correspondance entre chaque 
pixel m d'une image source d'une camera reelle et 5 
un rayon lumineux PM, dans Tespace a trois di- 
mensions, passant par le point de fuite P defini 
dans le modete de la camera. La localisation d'un 
pixel m dans Timage depend des parametres de la 
camera relatifs a la definition du modele de cette ic 
camera, alors que le rayon lumineux correspondant 
PM a une localisation dans Tespace a trois dimen- 
sions qui peut etre exprimee par rapport au "repe- 
re terrestre" fixe. 

La methode de calcul de Tadresse Aq a partir 75 
de Ao inclut les etapes suivantes : 

- une premiere transformation dite "transforma- 
tion-perspective Inverse" notee Hq^ , qui don- 
ne la direction du rayon lumineux PM corres- 
pondant a Tadresse de depart Ao dans Tima- 20 
ge cible lo, 

- la recherche de I'index j la camera reelle Cj 
dont le champ de visee contient le rayon 
lumineux en question, et si plusieurs cameras 
sont concernees, du fait d'un recouvrement 25 
possible des champs de visee, le choix d'une 
camera appropriee. 

- une seconde transformation dite "transforma- 
tion-perspective directe" notee Hj, qui donne 
I'adresse Aq dans I'image Ij de la camera 30 
reelle Cj selectionnee, correspondant au 
rayon lumineux PM. 

Les deux transformations, inverse H-^ et direc- 
te H, s'appuient comme on I'a dit, sur la definition 
des modeles des cameras ayant un point de fuite 35 
P commun (en anglais : VIEW POINT OF THE 
PIN-HOLE MODEL). 

Pour r^aliser la transformation geometrique 
complexe H, on est amene a considdrer en pre- 
mier une operation appelee "projection-perspecti- 4o 
ve" J qui permet de passer du point M d'une 
scene, reper^ dans le repere terrestre (Px, Py, Pz). 
au point m positionne dans le plan image d'une 
camera reelle Ci, le point m etant alors repere dans 
le systeme orthonorme individuel lie a cette came- 45 
ra reelle. c*est-a-dlre (Ojxj, Ojyj. Ojzj). 

L'operation "projection-perspective" J fait pas- 
ser, par une methode mathematique, le reperage 
d'un point d'un systeme a 3 dimensions, dans un 
systeme a 2 dimensions. Cette operation peut §tre so 
Iin§aris6e par Tutilisation des coordonn6es homo- 
g§nes qui permet d'exprimer la transformation par 
une matrice 4x4. 

La transformation geomdtrique H dite "transfor- 
mation-perspective" est le produit de plusieurs ma- 55 
trices en coordonnees homogenes : 

T qui est une matrice representant une transla- 
tion, 



S qui est une matrice repr^sentent un change- 
ment d'echelle, 

J qui est la matrice "projection-perspective" 
dont on a parle plus haut. 

L qui est un changement d'origine, 

R qui est une rotation selon les angles 0j, ej, 

'Aj, 

ou ^o, 60. \po selon le cas. 

La transformation geometrique directe s*expri- 
me alors par : H = T * S * J * L * R, et la 
transformation geometrique inverse par : 

H-1 = j-1 • • J-i • L-^ * R-1 

Cette transformation peut etre exprimee de 
maniere approchee par un ensemble de fonctions 
polynomiales en utilisant par exemple la methode 
des moindres carres. 

La transformation approchee ainsi obtenue 
peut alors etre realisee au moyen d'un produit du 
commerce reference chez la firme TRW par 
TMC2302. L'adresse de cette firme est : PO Box 
2472, LA JOLLA. CA92038 (US). 

VI. b/ Description d'une mise en oeuvre parti- 
cullere du calculateur d'adresse 200 

Cette mise en oeuvre est illustree au moyen de 
blocs fonctionnels sur la FIG.6. dans laquelle sont 
representes: 

- le bloc 201 qui est le premier module de 
construction du modele de la camera virtuelle 
MCo, 

- le bloc 210 qui est le premier module de 
stockage des parametres ^o. 60. ^o. zo de 
la camera virtuelle imposes par I'utilisateur h 
I'interface 2 du bloc de controle 1, 

- le bloc 113 qui est le generateur des adres- 
ses Ao de tous les pixels m' de I'image cible 
lo. 

- le bloc 220 qui est un premier module de 
calcul de transformation geometrique qui re- 
Qoit les informations suivantes : 

• Tadresse Ao de m\ provenant du g§n§ra- 
teur d'adresse 1 1 3, 

• le modele MCo de la camera virtuelle pro- 
venant du module de construction 201, 

• les parametres <^o. eo. <Ao. 20 de la came- 
ra virtuelle provenant du premier module 
de stockage 210 

Le bloc de calcul 220 determine, dans Tespace 
h 3 dimensions, la position du rayon PM passant 
par ie point de fuite P et par le pixel m*. a partir de 
la localisation de m* dans Tespace lo k deux di- 
mensions. Ce bloc de calcul 220 applique, a cet 
effet. la transformation perpeclive inverse : 
d^crite prec^demment. 
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- le bloc 204 qui est un module de stockage 
de la position du rayon lumineux PM dans 
I'espace a 3 dinnensions. position qui est 
fournie par le bloc de calcul 220, 

- le bloc de selection 205 qui est un module 
d'aiguillage, et qui, a partir du rayon PM 
localise, selectlonne la camera reelle Cj. et 
fournit Timage source correspondante Ij dans 
laquelle trouver le point m recherche. 

- le bloc 206 qui est le second module de 
construction des modeles MCI a MCn des 
cameras reelles, avec des moyens incorpo- 
res de corrections des distorsions, 

- les blocs 21.1 a 21 .n qui sont las blocs de 
stockages, dits seconds moyens de stocka- 
ge, des parametres ^1 a <^n, 91 a Gn, ^1 a 
%pt\, 21 a zn respectivement des cameras 
reelles, 

- les blocs 22.1 a 22n qui sont desdits se- 
conds modules de calcul de transformation 
geometrique, et qui regoivent respectivement 
les informations suivantes, 

* le signal de selection provenant du modu- 
le d'aiguillage 205. avec les informations 
relatives a Timage source Ij dans le cas 
decrit ici a titre d'exemple puisque la ca- 
mera Cj a ete selectionnee. 

* le modele MCj de la camera reelle Cj. 
provenant du second module de construc- 
tion 206. 

* les parametres <f»j. ej. i^j, zj de la camera 
reelle Cj provenant du module de stocka- 
ge 21 .j (seconds moyens de stockage), 
dans le cas decrit ici. Dans le cas present, 
le module de calcul 22.j (seconds moyens 
de calcul de transformation geometrique) 
calcule, dans I'espace a 2 dimensions 
constitue par le plan image source Ij, la 
localisation du point m, h partir de la loca- 
lisation fournie par le module de stockage 
204 du rayon lumineux PM, et ceci au 
moyen de la transformation perspective 
directe : Hj decrite pr^cedemment (si le 
module d'aiguillage 205 avait s^lectionnS 
une autre image source, alors un autre 
module de calcul 22.1 & 22.n aurait appli- 
que la transformation perspective directe 
appropriee Hi a Hn pour localiser le point 
m dans cette autre image source). 

- les blocs 23.1 a 23.n qui sont enfin des blocs 
de stockage des adresses Aq de chaque 
point m. Dans le cas present I'adresse Aq du 
point m recherch§ sera disponible dans le 
module de stockage 23. J. 

A la suite de ces operations effectuees dans le 
calcutateur d'adresse 200, en reference avec la 
Fig.3, ce calculateur d'adresse 200 fournit alors au 
bloc interpolateur 112 I'adresse Aq, et ce dernier 



calcule la fonction de luminance F correspondante. 
L'image lo peut alors §tre reconstitute dans le bloc 
de stockage 1 1 7 en faisant correspondre a chaque 
pixel m d'adresse Ao une valeur de la fonction F 
5 de luminance, L'image cible est mainlenanl recons- 
truite. 

En reference avec la Fig.2, l'image lo peut 
ensuite §tre affichee, ou stockee dans les moyens 
10. 

10 Si on se trouve dans le cas ou plusieurs ima- 

ges sources sont possibles, par exemple parce 
qu'on a recouvrement des images sources dans 
une region frontiere, le bloc de selection 205 
contient des moyens pour choisir une seule des 

75 deux images-sources. 

Une methode de selection entre deux images 
consiste a decider que le raccord entre deux ima- 
ges dans la region frontiere est constitut par une 
ligne droite qui passe sensiblement au milieu de la 

20 zone de recouvrement. Cette convention est appli- 
cable au cas des cameras juxtaposees horizontale- 
ment comme sur la Fig.1 avec des raccords verti- 
caux. 

L'homme du metier peut choisir toutes sortes 
25 de raccords. Par exemple des raccords disposes 
radialement sur des coniques. 

En remarque. on peut noter que ce qui a 6x6 
dit pour le codage des pixels en niveau de gris 
peut s'appliquer au codage d'une image couleur. 
30 Le codage s'effectue simplement sur un plus grand 
nombre de bits. 

On notera que. pour qu'aucun raccord ne soit 
sensible dans Timage cible, il est necessaire de 
prendre plusieurs mesures : 
35 - la calibration precise des cameras fixes. 

- la correction des rtsullats par des reboucla- 
ges, suivie d'une modification eventuelle des 
parametres des modeles des cameras fixes 
juqu'^ ce qu'on obtienne une juxtaposition 
40 parfaite conduisant h une image cible sans 

dtfaut. 

Cette operation, ou initialisation, doit etre com- 
prise comme une partie integrante de reparation 
de calibrage. 

45 On rappelie en outre, que des corrections de 

distorsion sont k appliquer ^ chaque image source 
pour la construction des modeles MCI ^ MCn. II 
existe dans le commerce des dispositifs capables 
de realiser ces operations. La verification de Tope- 
so ration parfaite des correcteurs de distorsion utilises 
est aussi partie integrante du calibrage. 

Par ailleurs, les difterentes cameras reelles 
peuvent montrer des courbes de rtponse en Inten- 
sity de niveau de gris ou couleur qui different. II est 
65 necessaire lors du calibrage d'effectuer une correc- 
tion de ces reponses individuelles pour uniformiser 
l'image virtuelle. 



12 



23 



EP 0 605 045 A1 



24 



L'interface utilisateur 2 peut etre command^e 
automatiquement, ou bien manuellement. Dans un 
exemple de mise en oeuvre cette interface peut 
etre un levier orientable (en anglais JOY-STICK). 

Revendications 

1. Precede de traitement d'images. pour construl- 
re une image dite cible (lo). a partir d'innages 
adjacentes, de cadrage fixe, dites innages sour- 
ces (II,.... li, Ij...., In), lesdites images cible et 
source ayant des points de fuite sensiblement 
confondus, caracterise en ce qu'il com- 
prend des etapes de : 

- numerisation des images, 

- determination, pour un des pixels de 
I'image cible (lo). de I'adresse (Aq) d'un 
point dit correspondant, dans une image 
source (Ij) parmi toutes les images sour- 
ces, 

- determination de la valeur (F) de la lumi- 
nance en ce point correspondant, 

- attribution au pixel de depart dans Tima- 
ge cible (lo) de la valeur de luminance 
(F) de ce pixel correspondant, 

- et repetition de ces etapes pour chacun 
des pixels de Timage cible (lo). 

2- Precede selon la revendication 1. caracterise 
en ce qu'il comprend une etape de calibrage 
incluant : 

- le stockage des parametres des images 
sources, parmi lesquels les facteurs 
d'echelle (zl... zn) et I'orientation des 
axes optiques concretisee par les angles 
d'azimut (61... Gn). de site <»n) et 
de rotation xf^n) dans un repere 
orthonorme fixe, de reference (Px, Py, 

- la construction de modeles de cameras 
dites r^elles pour fournir les images 
sources avec un point de fuite sensible- 
ment commun confondu avec I'origine du 
repere de reference et avec aberrations 
corrigees. et en ce qu'il comprend une 
etape d'entr^e de donnees incluant : 

- le stockage des parametres de rimage 
cible parmi lesquels le facteur d*§chelle 
(20) et rorientation de son axe optique 
concretisee par son angle d'azimut (60). 
de site (^o) et rotation {^o) dans le repe- 
re orthonorm^ fixe de r§f6rence (Px. Py, 

- la construction d'un modfele de camera 
dite virtuelle pour fournir Timage cible 
avec un point de fuite sensiblement com- 
mun avec celui des images sources. 



3. Proc6d4 selon la revendication 2, caract6ris6 
en ce qu'il comprend aussi des 6tapes de : 

- g§n6ration d'une adresse (Ao) pour cha- 
cun des pixels de Timage cible (lo). pixel 

6 par pixel, de maniere k couvrir la totalite 

de I'image cible (lo), 

- determination de Timage source parti- 
culiere (Ij) et de Tadresse (Aq), dans 
cette image source, du point correspon- 

10 dant a chaque pixel de I'image cible (lo), 

a partir des parametres des images sour- 
ce et cible. 

4. Precede selon la revendication 3, caracterise 
75 en ce que la determination de I'adresse (Aq) 

du point dit correspondant trouve dans une 
image source (Ij) inclut : 

- une etape de determination, h partir de 
I'adresse (Ao) d'un pixel de depart (m) 

20 dans I'image cible (lo), de rorientation. 

dans le repere orthonorme fixe de refe- 
rence (Px, Py. Pz) d'origine au point de 
fuite, du rayon lumineux passant par ce 
pixel donne (m) et par le point de fuite 

25 commun (P). 

- une etape de selection de I'image source 
(Ij) traversee par ce rayon lumineux (Px). 

- et une etape de determination de I'adres- 
se (Aq), dans cette image source, du 

30 point d'intersection de ce rayon lumineux 

avec cette image source, ce point etant 
le point correspondant au pixel de de- 
part. 

35 5. Precede selon la revendication 4. caracterise 
en ce que : 

- I'etape de determination de la position du 
rayon lumineux dans le repere de refe- 
rence comprend une transformation geo- 

40 metrique de perspective dite "transfor- 

mation de perspective inverse" (Ho"^) 
qui prend en compte le module de la 
camera virtuelle, 

- I'etape de determination de I'adresse 
45 (Aq) du point dit correspondant au pixel 

de depart, comprend des transformations 
geemetriques de perspective (Hl-Hn) di- 
tes transformations de perspective direc- 
tes, qui. selon {'image source particuliere 
50 selectionnee. prennent en compte res- 

pectivement le module de la camera 
r^elle correspondante. 



55 



6. Proc^de selon Tune des revendications 1 ou 5, 
caracterise en ce qu'il comprend une etape d' 

- interpolation pour calculer une valeur 
d'une fonction de luminance (F) la plus 
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probable ^ Tadresse (Aq) trouv^e Timage 
source (Ij). 

7. DisposillJ de Irallemenl d'images incluanl : 

- un systems de n cameras reelles fixes 5 
(C1,... Ci, Cj, ... Cn), disposees de manie- 
re a ce que leurs champs de vue indivi- 
duels fusionnent pour former un seul 
champ de vue de grand angle pour I'ob- 
servation d'une scene panoramique, to 

- un systeme de construction damage 
(100) simulant une camera dite virtuelle 
(Co), mobile, balayant continuement la 
scene panoramique pour en fournir une 
sous-image dite cible (lo), correspondant 15 
a une section arbitraire du champ de vue 
de grand angle, et construite a partir des 
images dites sources (11, ...li, Ij... In) adja- 
centes fournies par les n cameras reel- 
les, cette camera virtuelle (Co) ay ant un 
point de fuite (P) confondu avec. ou pro- 
che de celui des cameras reelles. carac- 
terise en ce que ce systeme de traite- 
ment d'image est numerique et en ce 
que le systeme de construction (100) de 
I'image cible lo inclut : 

- un calculateur d'adresse (200). pour faire 
correspondre a une adresse (Ao) d'un 
pixel dans Timage cible (lo), un point a 
une adresse (Aq) dans une des images 
sources (II -In), 

- des moyens (112. 117) pour calculer la 
valeur (F) de luminance du point a 
I'adresse (Aq) trouvee dans Timage sour- 
ce (II -In), et pour affecter cette valeur (F) 
de luminance au pixel de depart a 
radresse (Ao) dans Timage cible (lo). 

8. Dispositif selon la revendlcation 7. caracteris6 
en ce que le systeme (100) de reconstruction 
de rimage cible (lo) comprend : 

- des premiers moyens de stockage (210) 
des parametres relatifs a la camera vir- 
tuelle pour fournir au calculateur d'adres- 
se (200) le facteur d'echelle (20) et 
Torientation de I'axe optique de la came- 
ra virtuelle (Co) dans un rep§re terrestre 
orthonorme (Px. Py. Pz) fixe et ind§pen- 
dant des cameras, c'est-a-dire ses an- 
gles d'azimut (90). de site (<^>o) et de 
rotation (^^o) ; 

- des seconds moyens de stockage (21.1- 
2l.n) des parametres relatifs aux came- 
ras reelles (Cl-Cn) pour fournir au cal- 
culateur d'adresse (200) le facteur 65 
d'echelle (zl-zn) et Torientation de Taxe 
optique de chacune des cameras reelles 
(Cl...Ci, Cj. Cn) c'est-a-dire leurs angles 



d'azimut (91 - en), de site (<^1 - <>n) et 
de rotation {\p\ - \An) dans ledit rep^re 
terrestre fixe ; 

- un generateur d'adresse (113) pour ge- 
nerer les adresses (Ao) des pixels de 
I'image cible (lo), pixel par pixel, de ma- 
niere a couvrir la totalite de I'image cible 
(lo), le calculateur d'adresse (200) deter- 
minant alors rimage source particullere 
(Cj) et le point a Tadresse (Aq) dans 
cette image source, qui correspond a 
chaque pixel de I'image cible (lo) a partir 
des parametres des cameras virtuelle et 
reelles. 

9. Dispositif selon la revendication 8, caracterise 
en ce que le calculateur d'adresse (200) com- 
porte : 

- des premiers moyens de construction 
20 (201) d'un modele (MCo) de camera vir- 
tuelle avec projection a travers le point 
de fuite P, 

- des seconds moyens de construction 
(206) de modeles (MCl-MCn) de came- 

25 ras reelles, avec projection a travers le 

point de fuite P, et avec corrections des 
distorsions et defauts de perspective. 

10. Dispositif selon la revendication 9, caracterise 
30 en ce que le calculateur d'adresse (200) com- 

porte : 

- des premiers moyens de calcul de trans- 
formation geometrique (220) pour appli- 
quer a chaque pixel (m) h une adresse 

35 (Ao) de I'image (lo) de la camera virtuelle 

(Co), une transformation g§om6trique 
dite "transformation perspective" inverse 
(Ho^ ), qui prend en compte le modele de 
la camera virtuelle MCo fourni par les 
40 premiers moyens de construction (201). 

et les parametres angulaires d'azimut 
(eo), de site (<^o), de rotation {x^o) et le 
facteur d'echelle (zo) de cette camera 
virtuelle, fournis par les premiers moyens 
45 de stockage (240). pour determiner h 

partir de cette transformation perspective 
inverse (Hq^ ), le positionnement dans 
ledit repere terrestre, du rayon lumineux 
passant par ce pixel (m) et le point de 
50 fuite (P), 

- des moyens (204) pour stocker le posi- 
tionnement du rayon lumineux obtenu 
par la transformation perspective inverse 
(Ho' ), 

- des moyens de selection (205) pour s6- 
lectionner Timage source particuliere (II- 
In) traversee par ce rayon lumineux, 
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des seconds moyens de calcul de trans- 
formation geonnetrique (22.l-22.n) pour 
appliquer a ce rayon (umineux dans ledit 
repere lerrestre, une lra;isformalion geo- 
metrique dite "transformation perspective 
directe" (H1-Hn), qui prend en compte 
les modeles des cameras reelles fournis 
par les seconds moyens de construction 
(206), les parametres angulaires d'azimut 
(01 -Gn) de site (<#>1-<^n). de rotation (i^l- 
i/^n), et le facteur d'echelle (z1 -zn) de la 
camera (Cl-Cn) reelle correspondante, 
fournis par les seconds moyens de stoc- 
kage (21.1-21 .n). 

et des moyens de stockage (23.1 -23. n) 
pour fournir, a partir de cette transforma- 
tion perspective directe (Hl-Hn). Tadres- 
se (Aq) dans Timage source particuliere 
(11 -In) qui correspond au rayon lumineux, 
et done au pixel d'adresse (Ao) dans 
{•image cible (lo). 
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15. Dispositif selon I'une des revendications pr6c6' 
dentes, caracterise en ce que I'image cible (lo) 
est enregistree. 

16. Dispositif de surveillance muni d'un dispositif 
de traitement d'image selon Tune des revendi- 
cations 1 a 9. 



20 



11- Dispositif selon la revendication precedente 10, 
caracterise en ce que les moyens de determi- 
nation de luminance comprennent : 25 

- un interpolateur (112) pour calculer une 
vateur la plus probable d'une fonction de 
luminance (F) a I'adresse (Aq) trouvee 
par le calculateur d'adresse (200) dans 
I'image source fournie les moyens de 30 
selection (205) ; 

- des troisiemes moyens de stockage 
(117) pour affecter la valeur (F) de lumi- 
nance correspondant a I'adresse (Aq) 
trouvee dans Timage source, au pixel de 35 
depart dans rimage cible (lo) k I'adresse 

(Ao) fournie par le g^n^rateur d'adresse 
(113). 

12. Dispositif selon Tune des revendications prece- 4o 
dentes, caracterise en ce que le systeme (100) 

de reconstruction de I'image cible (lo) com- 
prend aussi : 

- une Interface (2) pour permettre a un 
utilisateur de definir les parametres de la 45 
camera virtuelle (Co), ces parametres in- 
cluant son facteur d'echelle (zo) et 
I'orientation de son axe optique (So, ^o, 

50 

13. Dispositif selon la revendication 12, caracterise 
en ce que ('interface utilisateur (2) est com- 
mandee automatiquement ou manuellement 



14- Dispositif selon I'une des revendications prece- 
dentes, caracterise en ce que I'image cible (lo) 
est affichee en temps reel sur un ecran (10). 
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